图形神经网络(GNN)已被证明可以实现竞争结果,以解决与图形相关的任务,例如节点和图形分类,链接预测和节点以及各种域中的图形群集。大多数GNN使用消息传递框架,因此称为MPNN。尽管有很有希望的结果,但据报道,MPNN会遭受过度平滑,过度阵型和不足的影响。文献中已经提出了图形重新布线和图形池作为解决这些局限性的解决方案。但是,大多数最先进的图形重新布线方法无法保留该图的全局拓扑,因此没有可区分(电感),并且需要调整超参数。在本文中,我们提出了Diffwire,这是一个在MPNN中进行图形重新布线的新型框架,它通过利用LOV \'ASZ绑定来原理,完全可区分且无参数。我们的方法通过提出两个新的,mpnns中的新的互补层来提供统一的图形重新布线:首先,ctlayer,一个学习通勤时间并将其用作边缘重新加权的相关函数;其次,Gaplayer是优化光谱差距的图层,具体取决于网络的性质和手头的任务。我们从经验上验证了我们提出的方法的价值,并使用基准数据集分别验证了这些层的每个层以进行图形分类。 Diffwire将通勤时间的可学习性汇集到相关的曲率定义,为发展更具表现力的MPNN的发展打开了大门。
translated by 谷歌翻译
Aliasing is a highly important concept in signal processing, as careful consideration of resolution changes is essential in ensuring transmission and processing quality of audio, image, and video. Despite this, up until recently aliasing has received very little consideration in Deep Learning, with all common architectures carelessly sub-sampling without considering aliasing effects. In this work, we investigate the hypothesis that the existence of adversarial perturbations is due in part to aliasing in neural networks. Our ultimate goal is to increase robustness against adversarial attacks using explainable, non-trained, structural changes only, derived from aliasing first principles. Our contributions are the following. First, we establish a sufficient condition for no aliasing for general image transformations. Next, we study sources of aliasing in common neural network layers, and derive simple modifications from first principles to eliminate or reduce it. Lastly, our experimental results show a solid link between anti-aliasing and adversarial attacks. Simply reducing aliasing already results in more robust classifiers, and combining anti-aliasing with robust training out-performs solo robust training on $L_2$ attacks with none or minimal losses in performance on $L_{\infty}$ attacks.
translated by 谷歌翻译
近年来,变形金刚的体系结构在受欢迎程度上一直在越来越流行。调制检测变压器(MDETR)是一个端到端的多模式理解模型,该模型执行诸如相位接地,引用表达理解,参考表达分割和视觉问题答案之类的任务。该模型的一个了不起的方面是可以推断出以前未经培训的类别的能力。在这项工作中,我们探讨了MDETR在一项新任务中的使用,即动作检测,没有任何以前的培训。我们使用原子视觉动作数据集获得定量结果。尽管该模型没有报告任务中的最佳性能,但我们认为这是一个有趣的发现。我们表明,可以使用多模式模型来解决其设计不适合的任务。最后,我们认为,这一研究可能导致MDETR在其他下游任务中的概括。
translated by 谷歌翻译
我们提出了一种使用高质量的OCTREE发射的代表来渲染复杂灯具的有效方法。复杂的灯具在渲染中是一个特别具有挑战性的问题,因为它们的腐蚀性光路在灯具内部。我们通过使用简单的代理几何形状来降低照明器的几何复杂性,并使用神经辐射场编码视觉复杂的发射光场。我们通过提出专门的损失函数来应对代表灯具的多重挑战,包括其高动态范围,高频含量和空发射区域。为了进行渲染,我们将灯具的nerf提炼成圆锥状的,我们可以轻松地将其集成到传统的渲染系统中。我们的方法允许在包含最小误差的复杂灯具的场景中加速2个数量级。
translated by 谷歌翻译
最近出现了许多变异自动编码器(VAE),目的是建模多模式数据,例如,共同建模图像及其相应的标题。尽管如此,多模式的VAE倾向于仅通过在忽略标题的同时拟合图像来关注模式的子集。我们将此限制称为模态崩溃。在这项工作中,我们认为这种效果是多模式VAE训练中梯度冲突的结果。我们展示了如何检测梯度冲突(公正性块)的计算图中的子图形,以及如何利用从多任务学习到减轻模态崩溃的现有梯度冲突解决方案。也就是说,确保跨模式的公正优化。我们将培训框架应用于文献中的几种多模式VAE模型,损失和数据集,并从经验上表明,我们的框架显着改善了跨模态的潜在空间的重建性能,有条件的产生和连贯性。
translated by 谷歌翻译
由于它们所需的大量集中,最深度增强学习算法的状态是对渐近性能的大量集中的效率低。由哺乳动物海马的启发的episodic加强学习(ERL)算法通常使用扩展的内存系统从过去的事件开始学习,以克服这个样本效率问题。然而,这种内存增强通常用作仅仅是缓冲区,从中绘制了孤立的过去经验,以便以离线方式学习(例如,重播)。这里,我们证明包括从集扩展抽样顺序导出的所获取的内存内容中的偏差来提高弹性控制算法的样本和存储器效率。我们在觅食任务中测试了我们的顺序焦点控制(SEC)模型,以显示存储和使用集成剧集作为事件序列导致更快的学习,与较少的内存要求相反,与隔离的缓冲区相比只有事件。我们还研究了内存约束的影响,忘记了SEC算法的顺序和非顺序版本。此外,我们讨论了类似海马的快速记忆系统如何在哺乳动物大脑中引导慢速皮质和皮质学习习惯的习惯。
translated by 谷歌翻译
尽管知识蒸馏有经验成功,但仍然缺乏理论基础,可以自然地导致计算廉价的实现。为了解决这一问题,我们使用最近提出的熵函数来促进信息理论与知识蒸馏之间的替代联系。在这样做时,我们介绍了两个不同的互补损失,旨在最大限度地提高学生和教师陈述之间的相关性和互信。我们的方法对知识蒸馏和跨模型转移任务的最先进的竞争性能实现了最先进的,同时产生明显较低的培训开销,而不是密切相关和类似的方法。我们进一步展示了我们对二元蒸馏任务的方法的有效性,由此,我们将光线光到新的最先进的二进制量化。代码,评估协议和培训的型号将公开可用。
translated by 谷歌翻译
在本文中,我们在域移位的情况下,使用OCT B扫描提供了一种基于青光眼分级的自培训框架。特别是,所提出的两步学习方法是在第一步中生成的伪标签来增加目标域上的训练数据集,然后用于训练最终目标模型。这允许从未标记的数据传输知识域。此外,我们提出了一种新的青光眼特异性骨干,通过跳过连接引入残留和注意模块,以优化潜在空间的嵌入功能。通过这样做,我们的模型能够从定量和解释性角度来改善最先进的。据报道的结果表明,通过使用来自源示例的标签,所提出的学习策略可以提高目标数据集的模型的性能,而不会产生额外的注释步骤。我们的模型在不同指标上一直以1-3%的基线优于3-3%,并且在标记的目标数据上培训模型的差距桥接。
translated by 谷歌翻译
我们展示了一个新的开源软件,用于快速评估量子电路和绝热进化,这充分利用了硬件加速器。越来越多的Quantum Computing兴趣和Quantum硬件设备的最新发展的兴趣激励了新的高级计算工具的开发,其专注于性能和使用简单性。在这项工作中,我们介绍了一种新的Quantum仿真框架,使开发人员能够将硬件或平台实现的所有复杂方面委托给库,以便他们专注于手头的问题和量子算法。该软件采用Scratch设计,使用仿真性能,代码简单和用户友好的界面作为目标目标。它利用了硬件加速,例如多线CPU,单个GPU和多GPU设备。
translated by 谷歌翻译